Joseph Clemens war der dritte Sohn des Kurfürsten Ferdinand Maria von Bayern und dessen Ehefrau Henriette Adelaide von Savoyen. Er hatte sechs Geschwister, er selbst war das zweitjüngste Kind.

Er wurde bereits in jungen Jahren, gegen seinen Willen, für den geistlichen Stand ausgewählt und dem entsprechend erzogen. 1683 erhielt er die erste Tonsur und wurde Koadjutor für das Bistum Regensburg. 1684 folgte wurde er Koadjutor des Bistums Freising, 1685 Koadjutor der Fürstprobstei Berchtesgaden.

1685 nachdem Tod von Fürstbischof Albert Sigmund wurde er Bischof von Regensburg und Freising. Obwohl er noch minderjährig ist wird er vom Papst Innozenz XI. in dem Amt bestätigt. 1688, in dem Alter von 17 Jahren, wird er durch tatkräftige Unterstützung des Kaisers Leopold I. und des Papstes Innozenz XI. Erzbischof von Köln. Das Kölner Domkapitel hatte Wilhelm Egon von Fürstenberg favorisiert.

Auf Grund seiner Wahl zu dem Kölner Erzbischof kommt es mit Frankreich zu dem Pfälzischen Krieg (1688-1697), der Joseph Clemens daran hindert in sein neues Domizil nach Bonn überzusiedeln. 1689 war das Brühler Wasserschloss von französischen Truppen zerstört worden, gleich nach seiner Rückkehr begann er mit dem Wiederaufbau. 1694 wurde er auch Bischof von Lüttich. Er erhielt zwar vom Papst Innozenz XII. die Bestätigung dieses Amtes, doch nannte der Papst seine Anhäufung von Bischofswürden nicht zulässig und verlangte die Aufgabe der Bischofsämter in Regensburg und Freising.

1694 wurde Joseph Clemens Koadjutor für das Bistum Hildesheim und legte die Bischofsämter von Freising und Regensburg nieder, wurde aber 1695 durch das Domkapitel von Regensburg wieder zu dem Bischof gewählt. In Freising erfolgte seine Wiederwahl nicht.

Kurz vor Beginn des Spanischen Erbfolgekrieges ging er ein Bündnis mit Ludwig XIV. von Frankreich ein. Bonn wurde daraufhin 1702 von kaisertreuen Truppen besetzt und Joseph Clemens floh in das französische Exil nach Namur. In dem gleichen Jahr wurde er dann noch Bischof von Hildesheim. Seit 1704 hielt er sich in Lille auf und von 1709 bis 1714 schließlich noch in Valenciennes. In Lille erhielt er 1706 die Bischofweihe vom Bischof von Cambrai, in dem gleichen Jahr wurde er vom Kaiser geächtet.

Im Frieden von Baden und Rastatt erhielt er all seine Würden und Länder zurück. Bei seiner Rückkehr 1715 nach Bonn brachte er Konstanze de Grousselier mit. Er erklärte jedoch seit seinen Bischofsweihen keine intime Beziehung mehr zu ihr zu unterhalten, was nach den Geburtstagen seiner Kinder jedoch nicht stimmen konnte.

Joseph Clemens hatte drei Kinder. Er zeugte mit Konstanze de Grousselier einen Sohn und eine Tochter, Comte Jean Baptiste Victor de Grosberg-Bavière (* 1706; † 1768) und Comtess Antoine Levin de Grosberg-Bavière (* 1710; † 1757). Außerdem zeugte er noch einen zweiten Sohn, Emanuel de Bavière, mit Anna Franziska de Louchier.

Joseph Clemens starb am 12. November 1723 in Bonn. Er wurde, wie seine Wittelsbacher Vorgänger auf dem Stuhl des Erzbischofs von Köln, vor der Dreikönigenkapelle in dem Inneren des Kölner Doms beigesetzt.